package sparkCoreNew

import org.apache.spark.{SparkConf, SparkContext}

object test1017 {
  object WordCount {
    def main(args: Array[String]): Unit = {
      //读取数据文件，构建RDD
      val conf =new SparkConf().setMaster("local[*]").setAppName("hello scala")
      val sc =new SparkContext(conf)
      val fileRDD=sc.textFile("D:\\15code\\data\\data10.17.txt")

      // 解析数据并统计词频
      val wordCounts = fileRDD.map { line =>
        // 假设每个数据行都遵循相同的格式，并且我们只对类别（如“玩具”和“家电”）感兴趣
        val category = line.split("\\\\00A")(2) // 根据\00A分割并取第三个元素（索引为2）
        (category, 1)
      }.groupBy(_._1).mapValues(_.size)

      // 输出结果
      wordCounts.foreach { case (word, count) =>
        println(s"($word, $count)")
      }
    }
  }

}
